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(57) Abstract: The invention relates to a device for detecting and localising objects. The inventive device comprises a 3D camera for 

recording three-dimensional situation images of an area to be monitored; first means for evaluating the three-dimensional situation 
I*** images using suitable object detection methods for determining an object in the area to be monitored and the position of the object 

in said area; a 2D camera for recording two-dimensional situation images of the region in the area to be monitored in which the 
qq position of the object has been determined; and second means for evaluating the two-dimensional situation images using suitable 

object detection methods for redetermining the object in the area to be monitored. 

(57) Zusammenfassung: Eine Vorrichtung zur Erkennung und Lokalisierung von Objekten umfasst eine 3D-Kamera zur Aufnahme 
von dreidimensionalen Situationsbildern eines zu uberwachenden Raums; erste Mittel zum Auswerten der dreidimensionalen Situ- 
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eines in dem zu uberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage des Objekts im Raum; eine 2D-Kamera 
zur Aufnahme von zweidimensionalen Situationsbildern desjenigen Bereichs des zu uberwachenden Raums, in dem die Lage des 
Objekts bestimmt wurde; und zweite Mittel zum Auswerten der zweidimensionalen Situationsbilder mittels geeigneter Objekterken- 
nungsverfahren zur emeuten Bestimmung des in dem zu uberwachenden Raum vorhandenen Objekts. 



WO 03/089277 




CI7EP03/00238 



Sicherheitsvorrichtung fur ein Fahrzeug 



Einleitung 

Die vorliegende Erfindung betrifft eine Sicherheitsvorrichtung fur ein Fahrzeug, 
insbesondere eine Vorrichtung zur Erkennung und/oder Lokalisierung von 
Objekten bzw. Personen im Bereich eines Fahrzeugs. Eine solche Vorrichtung 
kann beispielsweise in einem Passagierruckhaltesystem zur Steuerung eines 
5 oder mehrerer Airbags, in einem Komfortsystem (zum autpmatischen Einstellen 
von Kopfstutzen und/oder Fahrzeugsitzen und/oder Ruckspiegeln, etc.) oder in 
einem System zur Unfallvermeidung eingesetzt werden. Die Erfindung betrifft 
ebenfalls ein Verfahren zur Erkennung und/oder Lokalisierung von Objekten 
bzw. Personen. 

10 Um bei einem Verkehrsunfall die Verletzungsrisiken fur die Fahrzeuginsassen 
zu senken, werden moderne Fahrzeuge im allgemeinen mit einem aktiven 
Passagierruckhaltesystem ausgestattet. Ein solches aktives Passagierruckhal- 
tesystem umfasst einen oder mehrere Airbags, die bei einem Aufprall des 
Fahrzeugs blitzschnell aufgeblasen werden und die von dem Passagier bei dem 

15 Aufprall freigegebene Energie aufnehmen, sowie gegebenenfalls Gurtstraffer 
o.a.. 

Da ein Airbag wie z.B. ein Frontalairbag mit sehr hohen Geschwindigkeiten 
(200 bis 300 km/h) aus dem Armaturenbrett bzw. dem Pralltopf des Lenkrades 
austritt, kann der Passagier, bei entsprechend ungOnstiger Sitzhaltung, gege- 

20 benenfalls Verletzungen durch den auslosenden Airbag erleiden. Um dies zu 
vermeiden hat man mikroprozessorgesteuerte Ruckhaltesysteme mit mehreren 
Betriebsmoden entwickelt, die eine Anpassung verschiedener Ausloseparame- 
ter des Ruckhaltesystems in Abhangigkeit u.a. der Position des Passagiers auf 
dem Fahrzeugsitz oder seiner Statur ermoglichen, wie z.B. der Aufblaszeit- 

25 punkt, die Aufblasgeschwindigkeit und/oder das Aufblasvolumen des Airbags. 

Damit eine solche Anpassung der Ausloseparameter des Ruckhaltesystems 
durch den Mikroprozessor ermSglicht wird, muss dieser naturlich mit verschie- 
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denen, die Sitzposition oder die Statur des jeweiligen Passagiers betreffenden 
Parametern versorgt werden. Ein derartiges Passagierruckhaltesystem muss 
folglich rriit einer Vorrichtung zum Ermitteln eben dieser Parameter ausgerustet 
sein. 

5 Bekannte Vorrichtungen zum Ermitteln der Statur bzw. der Sitzposition eines 
Passagiers basieren beispielsweise auf der Ermittlung der Gewichtsverteilung 
des Passagiers in dem Sitz. Anhand der ermittelten Gewichtsverteilung lassen 
sich anhand statistischer Korrelationsfunktionen Ruckschliisse auf die zu 
ermittelnden Parameter Ziehen. 

10 Einen vollig anderen Ansatz zur Erkennung einer Sitzbelegung verfolgen 
Systeme, die mittels bildgebender Systeme eine Prasenz und gegebenenfalls 
eine Sitzposition eines Passagiers ermitteln. Bei derartigen Systemen wird der 
Innenraum des Fahrzeugs mittels einer oder mehreren Kameras uberwacht und 
das aufgenommene Videosignal mittels geeigneter Bildverarbeitungsverfahren 

15 ausgewertet. Durch den Einsatz moderner CCD oder CMOS Kameras mit 
hoher Auflosung kann mit solchen Systemen eine verhaltnismaSig genaue 
Objekterkennung erreicht werden, d.h. es kann verhaltnismaBig genau unter- 
schieden werden, ob der Fahrzeugsitz unbesetzt ist oder ob er durch einen 
Kindersitz oder durch einen Passagier besetzt ist. Durch die Ermittlung der 

20 vertikalen Position des Kopfs eines Passagiers kann daruber hinaus auf die 
Statur des Passagiers geschlossen werden. 

Zur genauen Ermittlung der Sitzposition eines Passagiers wird neben der 
zweidimensionalen Bildinformation zusatzlich eine Tiefeninformation benotigt, 
d.h. eine Information uber die Entfernung zwischen der Kamera und dem 
25 interessierenden Objekt (z.B. dem Kopf des Passagiers). Hierzu sind beispiels- 
weise stereoskopische Verfahren bekannt, die aus zwei seitlich versetzt 
aufgenommenen Bildern eine Tiefeninformation errechnen. Eine nach einem 
solchen Verfahren arbeitende Vorrichtung ist beispielsweise aus der 
EP-A-0 885 782 bekannt. 

30 Alternativ zu diesen stereoskopischen Verfahren sind Verfahren bekannt, die 
eine Unscharfe des aufgenommenen Bildes bezUgiich einer Brennpunktsebene 
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auswerten. Der Innenraum des Fahrzeugs wird mit einer einzelnen Kamera mit 
vergleichsweise geringer Tiefenscharfe aufgenommen. Ein Objekt, das sich in 
einer von der Brennpunktsebene verschiedenen Ebene befindet ist in dem 
aufgenommenen Bild unscharf abgebildet. Mittels geeigneter Bildverarbeitungs- 
5 verfahren kann diese Unscharfe rechnerisch ermittelt und hieraus auf die 
Entfernung des Objekts zu der Brennpunktsebene geschlossen werden. Ein 
derartiges Verfahren ist beispielsweise in der US-A-6, 198,998 beschrieben. 

Die beschriebenen Verfahren und Vorrichtungen liefern aufgrund der guten 
Auflosung von modernen CCD oder CMOS Kameras gute Ergebnisse bei der 
10 Objekterkennung. Allerdings ist die zu verarbeitende Datenmenge bei solchen 
Systemen insbesondere bei Verwendung von stereoskopischen Verfahren 
verhaltnismaBig groR. Da eine Ermittlung der Position eines Passagiers in 
Echtzeit erfolgen muss, stellen diese Systeme enorme Anforderungen an das 
bildverarbeitende System. 

15 Neben diesen auf der Auswertung von zweidimensionalen Aufnahmen beru- 
henden Vorrichtungen sind Systeme bekannt, die anhand einer Laufzeitmes- 
sung von moduliertem IR-Licht direkt eine Tiefeninformation zu der Bildinforma- 
tion liefern. Solche 3D-Kameras sind beispielsweise aus den Veroffentlichungen 
WO-A-96/15626 und WO-A-98/10255 bekannt Im Gegensatz zu den oben 

20 beschriebenen 2D-Kameras weisen 3D Kameras eine vergleichsweise geringe 
Auflosung auf, wodurch sich die zu bearbeitende Datenmenge wesentlich 
reduziert. Daruber hinaus liegt die zur Positionsbestimmung des interessieren- 
den Objekts benotigte Tiefeninformation unmittelbar vor. Allerdings bereitet die 
geringe Auflosung einer 3D-Kamera Probleme mit der sicheren Objekterken- 

25 nung. 

Aufgabe derErfindung 

Aufgabe der vorliegenden Erfindung ist es folglich, ein verbessertes System zur 
Erkennung und Lokalisierung von Objekten vorzuschlagen. 
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Allgemeine Beschreibung der Erfindung 

Diese Aufgabe wird erfindungsgemaS gelost durch eine Vorrichtung zur 
Erkennung und Lokalisierung von Objekten umfassend 

eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern eines 
zu Qberwachenden Raums; 
5 erste M'rttel zum Auswerten der dreidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern 
10 desjenigen Bereichs des zu uberwachenden Raums, in dem die Lage des 
Objekts bestimmt wurde; und 

zweite Mittel zum Auswerten der zweidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur erneuten Bestimmung des in dem 
zu Qberwachenden Raum vorhandenen Objekts. 

15 Neben der Vorrichtung betrifft die Erfindung ebenfalls ein Verfahren zur Erken- 
nung und Lokalisierung von Objekten, umfassend die Schritte: 

Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu Qber- 
wachenden Raums mittels einer 3D-Kamera, 

Auswerten des ersten, dreidimensionalen Situationsbildes mittels geeigne- 
20 ter Objekterkennungsverfahren zur Bestimmung eines in dem zu Qberwa- 

chenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

Aufnahme eines zweiten, zweidimensionalen Situationsbildes eines be- 
stimmten Bereichs des zu uberwachenden Raums mittels einer 2D-Kamera, 
25 wobei der bestimmte Bereich dem Bereich des Raumes entspricht in dem 

die Lage des Objekts bestimmt wurde; 

Auswerten des zweiten, zweidimensionalen Situationsbildes zur erneuten 
Bestimmung des vorhandenen Objekts. 



BESTATIGUNGSKOPIE 



WO 03/089277 



5 



'CT7EP03/00238 



Alternativ wird die Aufgabe ebenfalls gelost durch eine Vorrichtung zur Erken- 
nung und Lokalisierung von Objekten umfassend 

eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern eines 
zu uberwachenden Raums; 
5 erste Mrttel zum Auswerten der dreidimensionalen Situationsbilder m'rttels 
geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern des zu 

10 uberwachenden Raums; und 

zweite Mrttel zum Auswerten eines bestimmten Bereichs der zweidimensionalen 
Situationsbilder mittels geeigneter Objekterkennungsverfahren zur erneuten 
Bestimmung des in dem zu uberwachenden Raum vorhandenen Objekts, wobei 
der bestimmte Bereich dem Bereich des Raumes entspricht in dem die Lage 

15 des Objekts bestimmt wurde. 

In diesem Fall umfasst das Verfahren zur Erkennung und Lokalisierung von 
Objekten die Schritte Verfahren zur Erkennung und Lokalisierung von Objekten, 
umfassend die Schritte: 

Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu uber- 
20 wachenden Raums mittels einer 3D-Kamera, 

Auswerten des ersten, dreidimensionalen Situationsbildes mittels geeigne- 
ter Objekterkennungsverfahren zur Bestimmung eines in dem zu uberwa- 
chenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

25 Aufnahme eines zweiten, zweidimensionalen Situationsbildes des zu uber- 

wachenden Raums mittels einer 2D-Kamera; 
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Auswerten eines bestimmten Bereichs des zweiten, zweidimensionalen Si- 
tuationsbildes zur erneuten Bestimmung des vorhandenen Objekts, wobei 
der bestimmte Bereich dem Bereich des Raumes entspricht in dem die Lage 
des Objekts bestlmmt wurde. 

5 Die erfindungsgema&e Vorrichtung beziehungsweise das erfindungsgemaSe 
Verfahren verbinden auf vorteilhafte Weise die Vorteile bezQglich der Schnellig- 
keit und der geringen Datenmenge eines 3D-Kamerasystems mit der hohen 
Auflosung und der dadurch ermoglichten sicheren Erkennung des Objektes von 
2D-Kamerasystemen. In der Tat wird mit der vorgeschlagenen Vorrichtung 

10 zunachst der gesamte zu uberwachende Raum mit Hilfe einer 3D-Kamera 
erfasst und das hierbei gewonnene Bild im Hinblick auf eine erste Objekterken- 
nung ausgewertet. Da die Auflosung einer 3D-Kamera verhaltnismaBig gering 
ist, sind die zu verarbeitenden Datenmengen entsprechend gering. Die gleich- 
zeitig erhaltenen Tiefeninformationen konnen zur Positionsbestimrnung unmit- 

1 5 teibar verwendet werden. 

AnschlieBend kann mit der 2D-Kamera beispielsweise lediglich der interessie- 
rende Bereich des zu uberwachenden Raums, d.h. der Bereich in dem die Lage 
des Objekts bestimmt wurde, mit Hiife der 2D-Kamera erneut erfasst werden. 
Das dabei gewonnene zweidimensionale Bild hoher Auflosung wird anschlie- 
20 Send im Hinblick auf eine emeute Objekterkennung verarbeitet. In der be- 
schriebenen alternativen Ausgestaltung der Erfindung wird mit der 2D-Kamera 
ein zweidimensionales Bild des gesamten zu uberwachenden Bereichs aufge- 
nommen aber lediglich der interessierende Bereich des Bildes ausgewertet. 

Die erste Objekterkennung, die auf der Basis des dreidimensionalen Bildes 
25 durchgefQhrt wurde, kann durch diese emeute Auswertung verifiziert werden, 
wodurch der Nachteil der geringen Auflosung des dreidimensionalen Bildes 
ausgeglichen werden kann. Es ist anzumerken, dass die zu verarbeitende 
Datenmenge bei der Verifizierung der Objekterkennung gegenilber einer 
herkommlichen Objekterkennung im Raum wesentlich verringert ist, da bei 
30 dieser Verifizierung entweder lediglich der interessierende Bereich des Raumes 
erfasst und verarbeitet wird oder lediglich der interessierende Bereich des 2D- 
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Bildes ausgewertet wird. Im Vergleich zu den herkommlichen Objekterken- 
nungsverfahren reduzieren beide Alternativen der Erfindung demnach (auf 
unterschiedliche Art und Weise) die bei der 2D-Objekterkennung zu verarbei- 
tenden Datenmenge. 

5 Das erfindungsgemaBe Verfahren zeichnet sich demnach durch eine ausserst 
schnelle Ermittlung der Position eines Objektes und eine hohe Sicherheit der 
Objekterkennung bei gleichzeitig kleinen zu verarbeitenden Datenmengen aus. 

Es ist anzumerken, dass bei der ersten Ausgestaltung der Erfindung die 
Einschrankung des aufgenommenen 2D-Bildbereichs auf den interessierenden 

10 Bereich entweder durch ein Verschwenken der 2D-Kamera oder durch eine 
Zoomfunktion der Kamera erreicht werden kann. Im Gegensatz dazu muss bei 
der zweiten Ausgestaltung die 2D-Kamera weder beweglich ausgestaltet noch 
mit einer Zoomfunktion ausgestattet sein. In der Tat kann der Aufnahmebereich 
der 2D-Kamera demjenigen der 3D-Kamera entsprechen, da die Reduzierung 

15 der zu verarbeitenden Datenmenge softwaremaBig erfolgen kann. Es wird 
lediglich der Teil des aufgenommenen Gesamtbildes verarbeitet, der das zu 
erkennende Objekt enthalt. 

Aufgrund der geringen Datenmengen sind die Anforderungen an die Prozessor- 
leistung des Systems entsprechend gering. Dies ermoglicht vorzugsweise die 
20 Implementierung der ersten Mittel zum Auswerten der dreidimensionalen 
Situationsbilder und der zweiten Mittel zum Auswerten der zweidimensionalen 
Situationsbilder in einer gemeinsamen Prozessoreinheit. 

In einer vorteilhaften Ausgestaltung der Vorrichtung sind die 3D-Kamera und 
die 2D-Kamera unmittelbar benachbart angeordnet. Die 3D-Kamera und die 
25 2D-Kamera konnen beispielsweise in einem gemeinsamen Gehause angeord- 
net sein. Durch eine solche Anordnung werden Parallaxenfehler zwischen den 
aufgenommenen zweidimensionalen und dreidimensionalen Bildern wirksam 
vermieden. AuSerdem wird die Zuordnung der einzelnen Detektionsbereiche 
vereinfacht. 

30 In einer vorteilhaften Ausgestaltung der Erfindung arbeiten die 3D-Kamera und 
die 2D-Kamera in dem gleichen Spektralbereich. Dabei arbeiten beide Kameras 
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vorzugsweise mit einer gemeinsamen Lichtquelle zum Beleuchten des zu 
uberwachenden Raums mit Licht einer in dem Spektralbereich, z.B. einem 
Infrarotbereich, enthaltenen Wellenlange. Hierdurch werden Fehler durch 
unterschiedliche Beleuchtung des zu erkennenden Objekts wirksam vermieden. 
5 Daruber hinaus kann der Einfluss von Fremdbeleuchtung wesentlich verringert 
werden so dass vereinfachte Algorithmen zur Bildverarbeitung eingesetzt 
werden konnen. 

Die Lichtquelle ist vorteilhaft zusammen mit der 3D-Kamera und der 2D-Kamera 
in einem gemeinsamen Gehause angeordnet 

10 In einer Anwendung des oben beschriebenen Verfahrens betrrfft die Erfindung 
ebenfalls ein Verfahren zur Steuerung eines Ruckhaltesystems in einem 
Fahrzeug, umfassend die Schritte: 



Bestimmen eines Objekts und Ermittlung der Lage des Objekts im Bereich 
eines Fahrzeugsitzes, 



schen Steuersignals und Gbermitteln des Steuersignals an eine Steuerein- 
heit des ROckhaJtesystems; 

Auswahlen eines geeigneten Funktionsmodus des Ruckhaltesystems auf 
der Basis des ubermittelten Steuersignals. 



20 Die Erfindung wird in diesem Fall zur Klassifizierung einer Sitzbelegung einge- 
setzt, wobei die hohe Erkennungssicherheit des zu erkennenden Objekts, z.B. 
eines Kindersitzes oder eines Kopfes eines Fahrzeuginsassen, eine sichere 
Klassifizierung der Sitzbelegung erkennt. Ein nach dieser Methode arbeitendes 
Ruckhaltesystem kann folglich mit einer besonders geringen Fehlerquote in 

25 einen fur die momentan ermittelte Belegungssituation angemessenen Modus 
geschaltet werden. 

Es ist anzumerken, dass die Positionsbestimmung des Kopfes eines Insassen 
eine Berechnung der Einsitzhohe dieses Insassen ermoglicht. Eine vorteilhafte 
Ausgestaltung des Verfahrens berucksichtigt diese Hohe des Oberkorpers bei 
30 der Klassifizierung der Sitzbelegung. In diesem Fall umfasst die Erzeugung 



15 



Erzeugen eines fur die Art und Position des bestimmten Objekts spezifi- 
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eines Steuersignals die Berechnung einer Hohe eines Oberkorpers des Fahr- 
zeuginsassen auf der Basis der Position des Kopfes. 

Die vorliegende Erfindung kann vorzugsweise auch in einem Verfahren zur 
Unfallvermeidung eingesetzt werden. Ein solches Verfahren zur Unfallvermei- 
5 dung bei einem Fahrzeug umfasst beispielsweise die Schritte: Bestimmen eines 
Objekts und Ermittlung der Lage des Objekts im Bereich einer Fahrerumgebung 
nach dem oben beschriebenen Verfahren und das Einleiten von geeigneten 
MaBnahmen, falls die bestimmte Lage des Objekts einem sicheren Fuhren des 
Fahrzeugs potentiell entgegensteht. 

10 Dieses Verfahren kann beispielsweise eingesetzt werden, um eine fur das 
Fuhren des Fahrzeugs untypische Korperhaltung des Fahrers zu detektieren. 
Eine solche untypische Korperhaltung kann durch eine akute Erkrankung, durch 
Obermudung oder durch leichtsinniges Verhalten des Fahrers entstehen. 

Bei einer moglichen Ausgestaltung des Verfahrens umfasst das Objekt einen 
15 Korperteil des Fahrers, wobei die geeigneten MaSnahmen eingeleitet werden, 
wenn die Lage des Korperteils in einem Bereich bestimmt wird, der mit einer 
unangebrachten Korperhaltung zum Fuhren des Fahrzeugs assoziiert ist. Der 
Korperteil kann z.B. den Kopf des Fahrers umfassen. Falls der Fahrer aufgrund 
einer Erkrankung oder infolge von Obermudung eine Korperhaltung mit nach 
20 vorne geneigtem Oberkorper einnimmt, befindet sich der Kopf in einer Position, 
die zum sicheren Fuhren des Fahrzeugs nicht geeignet ist. Beim Erkennen 
einer derartigen atypischen Kopfposition konnen nach dem vorliegenden 
verfahren geeignete Gegenmalinahmen eingeleitet werden. 

Eine ahnliche atypische Kopfposition kann auch durch leichtsinniges Verhalten 
25 des Fahrers entstehen, wenn dieser beispielsweise einen Gegenstand vom 
Fahrzeugboden oder von einem Rucksitz des Fahrzeugs aufhebt. Auch eine 
solche Position des Kopfes kann mit dem vorliegenden Verfahren erkannt 
werden und entsprechende MaBnahmen konnen eingeleitet werden. Alternativ 
zu dem Kopf konnen auch andere Korperteile des Fahrers auf atypisches oder 
30 leichtsinniges Verhalten kontrolliert werden. So kann beispielsweise eine 
Bestimmung eines FuSes im Bereich des Armaturenbretts als aufcerst gefahrli- 
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che und grob fahrlassige Korperhaltung erkannt werden. Mit der genannten 
Methode lasst sich auch feststellen, falls das Lenkrad von beiden Handen 
losgelassen wird. In all diesen Fallen lassen sich geeignete MaBnahmen wie 
beispielsweise das Erzeugen eines optischen oder akustischen Warnsignals 
5 und/oder das Auslosen eines Notbremssystems und/oder das Aufzeichnen des 
Fahrerverhaltens und/oder das Auswahlen eines geeigneten Funktionsmodus 
des Ruckhaltesystems einleiten. Hierbei ist zu bemerken, dass insbesondere 
das Aufzeichnen der Fahrerverhaltens bei einem eventuellen Unfall wichtige 
Aufschlusse uber die Schuldigkeit des Fahrers liefern kann. 

10 In einer anderen Ausgestaltung des Verfahrens umfasst das Objekt einen 
Gegenstand, und wobei eine oder mehrere der beschriebenen MaSnahmen 
eingeleitet werden, wenn die Lage des Gegenstands in einem Sichtbereich des 
Fahrers bestimmt wird. Mit einem solchen Verfahren kann beispielsweise ein 
akustischer Warnton erzeugt werden, falls ein grob fahrlassig handelnder 

15 Fahrer wahrend der Fahrt eine Landkarte studiert oder, beispielsweise bei 
stockendem Verkehr, Zeitung liest. 

Es ist anzumerken, dass fur das voranstehend beschriebene Verfahren, das 
Kamerasystem vorzugsweise in einem Bereich unmittelbar vor dem Fahrer des 
Fahrzeugs angeordnet ist. 

20 Eine weitere vorteilhafte Anwendung findet das erfindungsgemalSe Verfahren 
bzw. die erfindungsgemalie Vorrichtung bei der Steuerung eines Precrash- 
Systems, wobei in Abhangigkeit der Art des bestimmten Objekts und seiner 
Lage im AuBenbereich des Fahrzeugs geeignete Sicherheitsmassnahmen 
eingeleitet werden. Ein solches System kann beispielsweise beim Herannahen 

25 des Fahrzeugs auf ein Hindemis im Frontbereich (bzw. bei Ruckwartsfahrt im 
Heckbereich) ein Notbremssystem auslosen. In einer anderen Variante kann 
beim Erkennen eines Fu&gangers in unmittelbarer Nahe vor dem fahrenden 
Fahrzeug in Auflenairbag gezundet werden oder die Motorhaube des Fahr- 
zeugs in eine leicht angehobene Stellung verkippt werden, urn Verletzungen 

30 des FuBgangers zu vermeiden oder zumindest zu verringem. 
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In einer weiteren Anwendung kann die Erfindung bei der Steuerung eines 
Diebstahlwarnsystems in einem Fahrzeug eingesetzt werden. Moglich ist auch 
der Einsatz in einem komforterhohenden System, bei der verschiedene Kom- 
fortfunktionen an die Einsitzhohe des jeweiligen Passagiers eingestellt werden. 

5 Es ist anzumerken, dass bei der Kombination mehrerer Anwendungen im 
Fahrzeug mehrere Kameraeinheiten an eine gemeinsame Auswerteelektronik 
angeschlossen sein konnen. So kann beispielsweise eine erste Kameraeinheit 
den Fahrzeuginnenraum zwecks Sitzbelegungserkennung uberwachen wah- 
rend eine zweite Kameraeinheit den AulJenbereich des Fahrzeugs vor dem 
10 Fahrzeug uberwacht und eine dritte Einheit den Au&enbereich hinter dem 
Fahrzeug. 

Es ist weiterhin anzumerken, dass das vorhandene Kamerasystem auch in 
anderen Applikationen oder Anwendungen eingesetzt werden kann. So ist 
beispielsweise eine Videotelefonubertragung mittels der eingebauten Kamera 
15 denkbar. 

Beschreibung anhand der Figuren 

Im folgenden wird eine Ausgestaltung der Erfindung anhand der beiliegenden 
Figuren beschrieben. Es zeigen: 

Fig.1: schematisch eine Anwendung des erfindungsgemalJen Verfahrens zur 
Innenraumuberwachung in einem Fahrzeug; 
20 Fig.2: einen moglichen Aufbau einer Ausgestaltung einer erfindungsgemalJen 
Vorrichtung; 

Fig. 3: ein Ablaufdiagramm einer Ausgestaltung eines Verfahrens zur Klassifi- 

zierung eine Sitzbelegung; 
Fig.4: eine Verwendung des Verfahrens in einem Precrash-System; 
25 Fig. 5: eine Draufsicht auf das in Fig.4 dargestellte Fahrzeug zur lllustrierung 

der Sichtfelder; 

Fig. 6: eine mbgliche Einbauvariante einer Ausgestaltung einer erfindungsge- 
malJen Vorrichtung in ein Fahrzeug; 
Fig. 7: eine kombinierte Vorrichtung zur AuSen- und InnenOberwachung . 
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In der Fig. 1 wird schematisch der Einsatz einer erfindungsgemalJen Vorrich- 
tung bei der InnenraumGberwachung eines Fahrzeugs dargestellt. Eine Vorrich- 
tung 10 zum Erkennen und Lokalisieren eines Objekts ist bei einem solchen 
Einsatz beispielsweise im vorderen Bereich des Fahrzeugs unmittelbar unter- 

5 halb der Fahrzeugdecke angeordnet. In der dargestellten Ausgestaltung handelt 
es sich urn ein Kameramodu! zur Uberwachung der Beifahrerseite, d.h. das 
Sichtfeld der Kamera ist zu der Beifahrerseite hin gerichtet. Alternativ kann die 
Vorrichtung selbstverstandlich derart angeordnet sein, dass das Sichtfeld des 
Kameramoduls zur Fahrerseite hin gerichtet ist. Je nach Anordnung und 

10 Ausgestaltung des Kameramoduls konnen auch beide Fahrzeugseiten und/oder 
der Rucksitzbereich des Fahrzeugs gleichzeitig uberwacht werden. 

Ein moglicher Aufbau eines Kameramoduls 10 ist in der Fig. 2 dargestellt. Es 
umfasst im wesentlichen eine 3D-Kamera 12 mit angeschlossener Elektronik 
14, eine 2D-Kamera 16 mit angeschlossener Elektronik 18 sowie eine geeigne- 

15 te Beleuchtungsquelle 20 mit zugehorigem Treiber 22. Die Kameras sind 
vorzugsweise unmittelbar benachbart zueinander angeordnet, so dass Paralla- 
xenfehler zwischen den zweidimensionaien und den dreidimensionalen Bildern 
vermieden werden. Vorzugsweise sind die 3D-Kamera, die 2D-Kamera 16 
sowie die Beleuchtungsquelle 20 in einem gemeinsamen Gehause 24 angeord- 

20 net, in dem weiterhin die Prozessoreinheit 26 angeordnet ist. Das Modul 10 
kann als vorgefertigte Einheit hergestellt werden, die beim Einbau in das 
Fahrzeug uber eine spezifische Schnittstelle 28 an die Steuerelektronik eines 
Ruckhaltesystems angeschlossen wird. 

Fig. 3 zeigt ein Ablaufdiagramm einer Ausgestaltung des erfindungsgema&en 
25 Verfahrens bei der Verwendung zur Airbagsteuerung. Zunachst wird mittels der 

3D-Kamera ein dreidimensionales Bild aufgenommen und ausgewertet 100. 

Kommt diese Objekterkennung zu dem Ergebnis, dass es sich bei dem Objekt 

urn einen Kopf eines Passagiers handelt 120 wird (nach Verifizierung der 

Erkennung mit dem 2D-System 140) einerseits die H6he des Oberkorpers 
30 berechnet 160 um eine Klassifizierung des Passagiers vorzunehmen 180 und 

andererseits die Position des Kopfes verfolgt 200, um eine Bestimmung der 

Sitzposition durchzufuhren 220. 

BESTATIGUNGSKOPIE 



WO 03/089277 ^ ^PCT/EP03/00238 

13 



Handelt es sich bei dem erkannten Objekt nicht urn einen Kopf eines Passa- 
giers sondern urn einen Kindersitz 240, so wird die Sitzbelegung nach Verifizie- 
rung mit dem 2D-System 260 als Kindersitzbelegung klassifiziert und entspre- 
chend der Airbag in einen hierfQr geeigneten Modus geschaltet. 

5 Die Fig. 4 und Fig. 5 zeigen den Einsatz einer Vorrichtung bei der Steuerung 
eines Precrash-Systems. An geeigneten Stellen eingebaute Kameramodule 
Oberwachen den Bereich vor bzw. hinter dem Fahrzeug um beim Herannahen 
des Fahrzeugs an ein Hindernis entsprechende Schutzmassnahmen einzuiei- 
ten. Auch eine Oberwachung des Bereichs seitlich des Fahrzeugs ist darge- 
10 stellt. 

In den Figuren 6 und 7 wird ein kombiniertes Modul zur Au&en- und Innensen- 
sierung sowie eine mogliche Einbauvariante in einem Fahrzeug dargestellt. In 
dem kombinierten System sind verschiedene Gruppen bestehend aus 3D- 
Kamera, 2D-Kamera und Beleuchtung an eine einzige Auswerteeinheit ange- 
15 schlossen. Hierdurch kann eine erhebliche Platzeinsparung erreicht werden. 
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Patentanspruche 

1 . Vorrichtung zur Erkennung und Lokalisierung von Objekten umfassend 
eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern 
eines zu iiberwachenden Raums; 

erste Mittel zum Auswerten der dreidimensionalen Situationsbilder mittels 
5 geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
uberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage 
des Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern 
desjenigen Bereichs des zu uberwachenden Raums, in dem die Lage des 
1 0 Objekts bestimmt wurde; und 

zweite Mittel zum Auswerten der zweidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur erneuten Bestimmung des in 
dem zu uberwachenden Raum vorhandenen Objekts. 

2. Vorrichtung zur Erkennung und Lokalisierung von Objekten umfassend 

15 eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern 
eines zu uberwachenden Raums; 

erste Mittel zum Auswerten der dreidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
iiberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage 

20 des Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern 

des zu uberwachenden Raums; und 

zweite Mittel zum Auswerten eines bestimmten Bereichs der zweidimensio- 
nalen Situationsbilder mittels geeigneter Objekterkennungsverfahren zur 
25 erneuten Bestimmung des in dem zu uberwachenden Raum vorhandenen 
Objekts, wobei der bestimmte Bereich dem Bereich des Raumes entspricht 
in dem die Lage des Objekts bestimmt wurde. 
3. Vorrichtung nach Anspruch 1 oder 2, wobei die ersten Mittel zum Auswer- 
ten der dreidimensionalen Situationsbilder und die zweiten Mittel zum Aus- 
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werten der zweidimensionalen Situationsbilder in einer gemeinsamen Pro- 
zessoreinheit implementiert sind. 

4. Vorrichtung nach einem der AnsprQche 1 bis 3, wobei die 3D-Kamera und 
die 2D-Kamera unmittelbar benachbart angeordnet sind. 

5 5. Vorrichtung nach Anspruch 4, wobei die 3D-Kamera und die 2D-Kamera in 
einem gemeinsamen Gehause angeordnet sind. 

6. Vorrichtung nach einem der AnsprQche 1 bis 5, wobei die 3D-Kamera und 
die 2D-Kamera in dem gleichen Spektralbereich arbeiten. 

7. Vorrichtung nach Anspruch 6, umfassend eine Lichtquelle zum Beleuchten 
10 des zu Qberwachenden Raums mit Licht einer in dem Spektralbereich ent- 

haltenen Wellenlange. 

8. Vorrichtung nach einem der AnsprQche 6 oder 7, wobei der Spektralbereich 
einen Infrarotbereich umfasst. 

9. Vorrichtung nach Anspruch 6, wobei die 3D-Kamera, die 2D-Kamera und 
15 die Lichtquelle in einem gemeinsamen Gehause angeordnet sind. 

10. Verfahren zur Erkennung und Lokalisierung von Objekten, umfassend die 



a) Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu 
Qberwachenden Raums mittels einer 3D-Kamera, 



20 b) Auswerten des ersten, dreidimensionalen Situationsbildes mittels ge- 
eigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der 
Lage des Objekts im Raum; 

c) Aufnahme eines zweiten, zweidimensionalen Situationsbildes eines 
25 bestimmten Bereichs des zu Qberwachenden Raums mittels einer 2D- 



Kamera, wobei der bestimmte Bereich dem Bereich des Raumes ent- 
spricht in dem die Lage des Objekts bestimmt wurde; 

d) Auswerten des zweiten, zweidimensionalen Situationsbildes zur erneu- 
ten Bestimmung des vorhandenen Objekts. 



Schritte: 
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1 1 . Verfahren zur Erkennung und Lokalisierung von Objekten, umfassend die 
Schritte: 

a) Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu 
Qberwachenden Raums mittels einer 3D-Kamera, 

b) Auswerten des ersten, dreidimensionalen Situationsbildes mittels ge- 
eigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der 
Lage des Objekts im Raum; 

c) Aufnahme eines zweiten, zweidimensionalen Situationsbildes des zu 
Qberwachenden Raums mittels einer 2D-Kamera; 

d) Auswerten eines bestimmten Bereichs des zweiten, zweidimensionalen 
Situationsbildes zur erneuten Bestimmung des vorhandenen Objekts, 
wobei der bestimmte Bereich dem Bereich des Raumes entspricht in 
dem die Lage des Objekts bestimmt wurde. 

12. Verfahren nach Anspruch 10 oder 11, wobei die 3D-Kamera und die 2D- 
Kamera in dem gleichen Spektralbereich arbeiten. 

13. Verfahren nach Anspruch 12 umfassend den Schritt des Ausleuchtens des 
zu Qberwachenden Raums mit Licht einer in dem Spektralbereich enthalte- 
nen Wellenlange. 

14. Verfahren nach einem der AnsprUche 12 oder 13, wobei der Spektralbe- 
reich einen Infrarotbereich umfasst. 

15. Verfahren zur Steuerung eines RQckhaltesystems in einem Fahrzeug, 
umfassend die Schritte: 

a) Bestimmen eines Objekts und Ermittlung der Lage des Objekts im Be- 
reich eines Fahrzeugsitzes nach einem Verfahren gemass einem der 
Anspruche 10 bis 14, 

b) Erzeugen eines fUr die Art und Position des bestimmten Objekts spezi- 
fischen Steuersignals und Obermitteln des Steuersignals an eine Steu- 
ereinheit des RQckhaltesystems; 
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c) Auswahlen eines geeigneten Funktionsmodus des Ruckhaltesystems 
auf der Basis des ubermittelten Steuersignals. 

16. Verfahren nach Anspruch 15, wobei das Objekt einen Kindersitz umfasst. 

17. Verfahren nach Anspruch 15, wobei das Objekt den Kopf eines Fahrzeug- 
5 insassen umfasst. 

18. Verfahren nach Anspruch 17, wobei die Erzeugung eines Steuersignals die 
Berechnung einer Hohe eines Oberkorpers des Fahrzeuginsassen auf der 
Basis der Position des Kopfes umfasst. 

19. Verfahren zur Unfallvermeidung bei einem Fahrzeug, umfassend die 
10 Schritte: 

a) Bestimmen eines Objekts und Ermittlung der Lage des Objekts im Be- 
reich einer Fahrerumgebung nach einem Verfahren gemass einem der 
Anspruche 10 bis 14, 

b) Einleiten von geeigneten MaRnahmen, falls die bestimmte Lage des 
15 Objekts einem sicheren FQhren des Fahrzeugs potentiell entgegen- 

steht. 

20. Verfahren nach Anspruch 19, wobei das Objekt einen Korperteil des 
Fahrers umfasst und wobei die geeigneten Ma&nahmen eingeleitet werden, 
wenn die Lage des Korperteils in einem Bereich bestimmt wird, der mit ei- 

.20. ner unangebrachten Koiperhaltung zum_Rihren jies _ Fahrzeugs assoziiert 

ist. 

21. Verfahren nach Anspruch 19, wobei das Objekt einen Gegenstand umfasst, 
und wobei die geeigneten Malinahmen eingeleitet werden, wenn die Lage 
des Gegenstands in einem Sichtbereich des Fahrers bestimmt wird. 

25 22. Verfahren nach einem der Anspruche 19 bis 21, wobei das Einleiten von 
entsprechenden MaBnahmen das Erzeugen eines optischen Oder akusti- 
schen Warnsignals und/oder das Auslosen eines Notbremssystems 
und/oder das Aufzeichnen des Fahrerverhaltens und/oder das Auswahlen 
eines geeigneten Funktionsmodus des Ruckhaltesystems umfasst. 
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23. Verwendung einer Vorrichtung nach einem der Anspruche 1 bis 9 bei der 
Steuerung eines RQckhaltesystems in einem Fahrzeug, wobei das Ruckhal- 
tesystem in Abhangigkeit der Art des bestimmten Objekts und seiner Lage 
im Innenraum des Fahrzeugs in einen geeigneten Funktionsmodus ge- 



24. Verwendung einer Vorrichtung nach einem der Anspruche 1 bis 9 bei der 
Steuerung eines. Precrash-Systems, wobei in Abhangigkeit der Art des be- 
stimmten Objekts und seiner Lage im AuSenbereich des Fahrzeugs geeig- 
nete Sicherheitsmassnahmen eingeleitet werden. 

10 25. Verwendung einer Vorrichtung nach einem der Anspruche 1 bis 9 bei der 
Steuerung eines Diebstahlwarnsystems in einem Fahrzeug. 



5 



schaltet wird. 
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